mkosi: Only build system preset by default

Let's not build all presets by default, but only the system preset.
Also, let's only make the system preset depend on the initrd preset
if we're building a bootable disk image. This means that if we build
the system image as a cpio, uki or directory, the initrd preset will
be skipped as it's not necessary, making the build a little faster.

mkosi: Move to Fedora 39

mkosi: Update to latest

serialize: add common deserialize_read_line() helper and use it everywhere

This introduces a common helper replacing three very similar uses.

Prompted by review of: #27890

conf-parser: parse main config first only if not symlinked to/as drop-in

Otherwise we'll skip parsing main config directly.

Replaces #27152
Replaces #28956:
chase() is an overkill for determining whether
two files are the same. We only need to check
if the inodes are the same.

repart,bootspec: use set_ensure_consume

ukify/man: Look for a config file in systemd folders if not specified

If the user does not specify a config file to use, ukify will try looking for one at {/run,/etc,/usr/local/lib,/usr/lib}/systemd/ukify.conf in order and then use the first one found. Also made sure the --config input is a pathlib.Path by specifying its type in its CONFIG_ITEMS entry.
Big cheers to Zbigniew Jędrzejewski-Szmek <zbyszek@in.waw.pl> for helping!

Merge pull request #29123 from yuwata/conf-parser-cleanups-for-config-section

conf-parser: several cleanups and generalizations for ConfigSection

Merge pull request #29121 from yuwata/network-drop-duplicated

network: drop duplicated checks and function calls

Merge pull request #29071 from YHNdnzj/loop-write-full

io-util: introduce loop_write_full and use it where appropriate

mkosi: Drop arch workaround

archlinux-keyring was updated in Michel's PPA so let's drop the
workaround.

conf-parser: introduce ordered_hashmap_by_section_find_unused_line()

conf-parser: check overflow in hashmap_find_free_section_line()

Also, this also renames the function, and makes it optionally takes
a filename.

conf-parser: modernize config_section_new()

- add assertions,
- rename argument to store result.

hashmap: introduce HASHMAP_BASE_FOREACH() and friend

network: drop duplicated check

The same check is in network_adjust_dhcp_server().

network: drop duplicated address_set_broadcast()

It will be called later in link_request_address().

ci: temporarily disable Packit's i386

As it currently crashes when extracting debuginfo due to [0] and hangs
until it's killed by the watchdog (which takes ~5 hours).

[0] https://bugzilla.redhat.com/show_bug.cgi?id=2237392

tpm2-util: drop support for creating TPM2 trial sessions

This is unused these days, we instead calculate policy hashes ourselves
and do not need trial sessions for that anymore. Given how unreliable
they are in actual TPMs, we don't want to use them anyway, so I don't
think we ever want to readd this.

hence, let's drop this unused feature.

efi: Add some more paranoia asserts

Merge pull request #29036 from YHNdnzj/hibernate-resume-when-battery-low

hibernate-resume: split out the logic of finding hibernate location and support battery-check better

parse_timestamp: accept RFC3339-style timezone and %FT%R[:%S[.%N]]

We basically parsed the RFC3339 format already, except with a space:
      NOTE: ISO 8601 defines date and time separated by "T".
      Applications using this syntax may choose, for the sake of
      readability, to specify a full-date and full-time separated by
      (say) a space character.
so now we handle both
  2012-11-23 11:12:13.456
  2012-11-23T11:12:13.456
as equivalent.

Parse directly-suffixed Z and +05:30 timezones as well:
  2012-11-23T11:12:13.456Z
  2012-11-23T11:12:13.456+02:00
as they're both defined by RFC3339.

We do /not/ allow z or t; the RFC says
      NOTE: Per [ABNF] and ISO8601, the "T" and "Z" characters in this
      syntax may alternatively be lower case "t" or "z" respectively.

      This date/time format may be used in some environments or contexts
      that distinguish between the upper- and lower-case letters 'A'-'Z'
      and 'a'-'z' (e.g. XML).  Specifications that use this format in
      such environments MAY further limit the date/time syntax so that
      the letters 'T' and 'Z' used in the date/time syntax must always
      be upper case.  Applications that generate this format SHOULD use
      upper case letters.
We /are/ in a case-sensitive environment, neither are in wide-spread
use, and "z" poses an issue of whether "todayz" should be the same
as "todayZ" ("today UTC") or an error (it should be an error).

Fractional seconds are limited to six digits (they're nominally
   time-secfrac    = "." 1*DIGIT
), since we only support 1µs-resolution timestamps, and limit to six
digits in our other sub-second formats.

Parsing
  2012-11-23T11:12
is an extension two ways (no seconds, no timezone),
mirroring our "canonical" format.

Fixes #5194

shared/wall: use loop_write_full

io-util: introduce loop_write_full that takes a timeout

Also drop do_poll as the use case is covered
by timeout.

units: order battery-check before hibernate-resume

hibernate-resume: split out the logic of finding hibernate location

Before this commit, the hibernate location logic only exists in
the generator. Also, we compare device nodes (devnode_same()) and
clear EFI variable HibernateLocation in the generator too. This is
not ideal though: when the generator gets to run, udev hasn't yet
started, so effectively devnode_same() always fails. Moreover, if
the boot process is interrupted by e.g. battery-check, the hibernate
information is lost.

Therefore, let's split out the logic of finding hibernate location.
The generator only does the initial validation of system info and
enables systemd-hibernate-resume.service, and when the service
actually runs we validate everything again, which includes comparing
the device nodes and clearing the EFI variable. This should make
things more robust, plus systems that don't utilize a systemd-enabled
initrd can use the exact same logic to resume using the EFI variable.
I.e., systemd-hibernate-resume can be used standalone.

Merge pull request #28957 from yuwata/core-mount-set-dirty-on-umount

core/credential,mount: re-read /proc/self/mountinfo before invoking umount command

po: Translated using Weblate (German)

Currently translated at 85.4% (194 of 227 strings)

Co-authored-by: Christian Kirbach <christian.kirbach@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/de/
Translation: systemd/main

test: use 'until' instead of 'while !'

In general, it's better to avoid a negation. And "!" is special, because it is
used for history expansion, i.e. the same command would behave differently if
pasted on the command line.

Inspired by 4a899c5a239eb50df3f596af4ff145f4a2d33f23.

hwdb: keyboard: D330 FnLk toggle

Map Fn+Tab to fn_esc as is FnLock toggle in this keyboard. Still doesn't behave as expected because work in ideapad_laptop kernel module could be required but now at least we report the same mapping in others keyboards with Fn+ESC for FnLock and not unknown.

Signed-off-by: David Santamaría Rogado <howl.nsp@gmail.com>

Merge pull request #29098 from keszybz/man-page-postreview-fixup

man/systemd-id128: fix example

man: Add new Microsoft CAs to example

Also, let's use the links from the Microsoft documentation as they are
guaranteed to be stable.

Fixes: #29102

openssl-util: add common implementation of digest+sign

core/credential,mount: re-read /proc/self/mountinfo before invoking umount command

When a unit has credentials, stopping the service unmounts the credentials
directory. On shutdown, stopping the service and the corresponding mount
unit may be done mostly simultaneously, and if we invoke umount command soon
after umount() being called on stopping the service, the mount unit will
fail.

This makes Mount.invalidated_state flag set when umount() is called for a path,
and re-read /proc/self/mouninfo before invoking umount command if the flag is set.

Fixes #25527.
Replaces #26959.

test-execute: check credentials can be read on ExecStartPost= and friends

Prompted by
https://github.com/systemd/systemd/pull/28787#issuecomment-1690614202.

core/exec-credential: introduce exec_context_get_credential_directory() helper function

No functional change, just refactoring.

core: rename credential.[ch] -> exec-credential.[ch]

Also rename setup_credentials() -> exec_setup_credentials().

Addresses the post-merge review
https://github.com/systemd/systemd/pull/28787#pullrequestreview-1592065048.

Revert "core: do not leak mount for credentials directory if mount namespace is enabled"

This reverts commits
- 9ae3624889b98f75efa6fd0c5f4b4de3eaf328d4
  "test-execute: add tests for credentials directory with mount namespace"↲
- 94fe4cf2557d1f70f20ee02d32f4c2ae6bc1fb3f
  "core: do not leak mount for credentials directory if mount namespace is enabled",
- 7241b9cd72d6e6079d5140cf24c34e78d3cf43cc
  "core/credential: make setup_credentials() return path to credentials directory",
- fbaf3b23ae4aa79110ebd37aada70ce6a044c692
  "core: set $CREDENTIALS_DIRECTORY only when we set up credentials"

Before the commits, credentials directory set up on ExecStart= was kept
on e.g. ExecStop=. But, with the changes, if a service requests a
private mount namespace, the credentials directory is discarded after
ExecStart= is finished.

Let's revert the change, and find better way later.

Addresses the post-merge comment
https://github.com/systemd/systemd/pull/28787#issuecomment-1690614202.

id128: add forgotten option to --help

man/systemd-id128: fix example

The example was supposed to show how
machine-id/new/machine-id --app-specific/show --app-specific tie together, but
the verb was ommitted.

I also extended the explanation a bit and used long option form in the first
example for more clarity. In the second, more complicated example, the
one-letter form is used for brevity.

Noticed in post-review:
https://github.com/systemd/systemd/pull/28988/commits/b37e8184a5a376749fbf68674ed6d7a4fc9901aa#r1315678438

shared/wall: use logind if build without utmp support

If systemd is build without utmp support, use sd_get_sessions() in
utmp_wall() to get a list of logged in users with the corresponding tty.

core: allow to run generators without sandboxing on qemu-user

When running on non-native userland architecture via systemd-nspawn
and qemu-user-static QEMU-emulator, clone() with CLONE_NEWNS fails with
EINVAL.

Fixes #28901.

[zjs: add a comment in the code]

Merge pull request #29101 from DaanDeMeyer/kernel

mkosi: More kernel fixes

mkosi: Don't disable CONFIG_USB

Having USB enabled seems useful enough, this wasn't doing anything
regardless because we already enable CONFIG_USB earlier in the kconfig
file so this just gets rid of warning.

mkosi: Don't build hid selftests

We don't build our kernel with hid support so don't build the selftests
either.

mkosi: Enable two more kernel configs

Required for some bpf selftests so let's enable these in our config.

Merge pull request #29099 from medhefgo/ci

ci: Misc improvements

update TODO

ci: Do not run build test as root

Although, this is CI, we can still do better. It also ensures that any
env var changes make it into the script, as things like PATH would not
survive a `sudo -E`.

ci: Don't produce debug output for build tests

These binaries are never used, so generating debug symbols just
slows down build time.

ci: Use apt-get in favor of apt

Apparently, apt does not have a stable CLI interface and warns about it.

ci: Use add-apt-repository to enable sources

This should also ensure that consistent mirrors are selected.

Update 60-input-id.hwdb: add TEX Shinobi (#29068)

* Update 60-input-id.hwdb: add TEX Shinobi

The TEX Shinobi keyboard with trackpoint incorrectly identifies as a mouse instead of a pointing stick.   This corrects it as suggested at https://gitlab.freedesktop.org/libinput/libinput/-/issues/932#note_2069967

Following the example of the Lite-On keyboard entry, this modalias specifies the mouse unit without tagging the device's other entries.

ci: Remove custom build step names

Putting build matrix details into a build step name is rather useless as
the jobs themselves already contain the needed information.

test-network: Add test for PREF64

Merge pull request #29088 from yuwata/libsystemd-network-headers

libsystemd-network: split headers

Merge pull request #29094 from yuwata/network-dbus-doc

man: update documents for network DBus interfaces

Merge pull request #29091 from yuwata/sd-dhcp-client-use-usec

sd-dhcp-client: use usec_t for time values

sd-dhcp6-client: split out sd-dhcp6-protocol.h

sd-dhcp-server: fix typo in arguments

sd-dhcp: split out sd-dhcp-protocol.h from sd-dhcp-client.h

meson: sort headers

man: mention DBus interfaces for DHCP clients

Follow-up for #28896.

network/ndisc: split out ndisc_router_process_icmp6_ratelimit()

Otherwise, if ndisc_router_process_default() return earlier, e.g.
when Network.ipv6_accept_ra_use_gateway is false, then the
ratelimit is not applied.

Merge pull request #29089 from yuwata/network-ndisc-pref64-follow-ups

network/ndisc: follow-ups for PREF64 handling

network: reorder bus implementations

Otherwise, in the man page, DHCPServer interface is listed in the Link
object.

dissect: add 'f2fs' to allow-listed filesystems

f2fs is actively maintained upstream, and popular in certain device
categories (phones, embedded), so allow-list by default.

Fixes https://github.com/systemd/systemd/issues/29026

Merge pull request #29080 from mrc0mmand/test-tweaks

A couple of test tweaks for recent-ish CI fails

Merge pull request #29038 from keszybz/test-name-length-enforcement

Limit width of fuzz test names in meson output

sd-dhcp-client: introduce sd_dhcp_lease_has_6rd() helper function

No functional change, just refactoring.

dhcp: introduce sd_dhcp_lease_get_timestamp()

And drop sd_dhcp_client_get_lease_timestamp().

Also, this introduce sd_dhcp_lease_get_lifetime_timestamp() and friends,
which provides timestamp of the lifetime and so on, while
sd_dhcp_lease_get_lifetime() provides timestamp.

time-util: introduce triple_timestamp_from_boottime()

sd-dhcp-client: store lifetime and friends in usec_t

logind: give better error messages when failing to attach devices to seats

When the user tries to attach a device lacking ID_FOR_SEAT they
currently get a very cryptic error message. Let's improve the situation
a bit. Still a bit cryptic maybe, but much less so.

Inspired-by: https://lists.freedesktop.org/archives/systemd-devel/2023-September/049469.html
Inspired-by: https://lists.freedesktop.org/archives/systemd-devel/2023-September/049484.html
Also-see: https://lists.freedesktop.org/archives/systemd-devel/2023-September/049470.html
Also-see: https://lists.freedesktop.org/archives/systemd-devel/2023-September/049489.html

network/ndisc: refuse too many PREF64 prefixes

Follow-up for 6e8f5e4c1f5fcdb3b63343268936f9c269b6a209.

Addresses https://github.com/systemd/systemd/pull/29009#issuecomment-1705700926.

network/ndisc: drop outdated PREF64 prefixes

Follow-up for 6e8f5e4c1f5fcdb3b63343268936f9c269b6a209.

Addresses https://github.com/systemd/systemd/pull/29009#issuecomment-1705741844.

Merge pull request #29035 from DaanDeMeyer/update-mkosi

mkosi: Update to latest

mkosi: Make sure gzip is installed in initrd/system image

Required by loadkeys but not always a hard dependency so let's install
it explicitly.

test: create the "global" dropins in /run

So the test doesn't fail if run multiple times in a succession.

uki: document section name size limit

mkosi: Update to latest

Configuration now takes priority over CLI options so we have to
configure the defaults for settings that we want to allow overriding
from the CLI. We also explicitly set some other settings so that they
can't be overridden from the CLI anymore. For example the base and
initrd image should never be made bootable so we set Bootable=no
explicitly for both.

test: set ncat's idle timeout as well

Otherwise we'll get stuck waiting indefinitely if the test socket unit
fails to fail due the trigger limit, i.e.:

[  111.104906] testsuite-07.sh[743]: + systemctl start issue2467.socket
[  OK  ] Listening on issue2467.socket.
[  111.746465] testsuite-07.sh[743]: + nc -w20 -U /run/test.ctl
         Starting systemd-tmpfiles-clean.service...
[  OK  ] Finished systemd-tmpfiles-clean.service.
qemu-system-x86_64: terminating on signal 15 from pid 565814 (timeout)
E: Test timed out after 1800s

With the idle timeout we should give up after 20 seconds, allowing the next
statement to properly fail:

[   34.233084] testsuite-07.sh[450]: + systemctl start issue2467.socket
[   35.475392] testsuite-07.sh[450]: + nc -i20 -w20 -U /run/test.ctl
[   56.122941] testsuite-07.sh[458]: Ncat: Idle timeout expired (20000 ms).
[   56.140871] testsuite-07.sh[450]: + :
[   56.145460] testsuite-07.sh[450]: + timeout 10 bash -c 'while ! [[ "$(systemctl show issue2467.socket -P ActiveState)" == failed ]]; do sleep .5; done'
[   66.197623] testsuite-07.sh[446]: + echo 'Subtest /usr/lib/systemd/tests/testdata/units/testsuite-07.issue-2467.sh failed'

test: bump the trigger limit interval when running w/o KVM

As we might be slow enough to miss the trigger limit. Spotted in a nightly
cron build on C8S.

ask-password: Use unicode for password echo

Merge pull request #29070 from YHNdnzj/foolish-mistakes

Follow-ups for a few foolish mistakes by me

systemd.catalog: freezed -> froze

Follow-up for 1dc604d821b6f9519e1961b154ae37baad57dbb1

systemctl: drop unnecessary else

Follow-up for 8a826a979aa51703ec45dbecc34691265b4d04e0

journalctl: reset --lines= correctly if no argument

Follow-up for 8d6791d2aa98c989101f572278e9b0a63edfec42

network: make the build happy on i*86 again

In file included from ../src/basic/macro.h:455,
                 from ../src/basic/alloc-util.h:10,
                 from ../src/basic/hash-funcs.h:4,
                 from ../src/basic/hashmap.h:8,
                 from ../src/shared/dns-domain.h:10,
                 from ../src/network/networkd-radv.c:9:
../src/network/networkd-radv.c: In function â€˜config_parse_router_home_agent_lifetime’:
../src/network/networkd-radv.c:1626:28: error: format â€˜%lu’ expects argument of type â€˜long unsigned int’, but argument 11 has type â€˜long long unsigned int’ [-Werror=format=]
 1626 |                            "Invalid %s= must be in the range 1...%lu seconds, ignoring: %s", lvalue,
      |                            ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
../src/basic/log.h:361:125: note: in definition of macro â€˜log_syntax’
  361 |                         ? log_syntax_internal(unit, _level, config_file, config_line, _e, PROJECT_FILE, __LINE__, __func__, __VA_ARGS__) \
      |                                                                                                                             ^~~~~~~~~~~
../src/network/networkd-radv.c:1626:68: note: format string is defined here
 1626 |                            "Invalid %s= must be in the range 1...%lu seconds, ignoring: %s", lvalue,
      |                                                                  ~~^
      |                                                                    |
      |                                                                    long unsigned int
      |                                                                  %llu
cc1: all warnings being treated as errors

Addresses: https://github.com/systemd/systemd/pull/28964#issuecomment-1705550404
Follow-up to 6a6d27bc5b0.

network: Fix memory leak PREF64 (#29064)

Follow-up for 6e8f5e4c1f5fcdb3b63343268936f9c269b6a209.

Fixes #29062.

man: add version information for functions

Merge pull request #29059 from YHNdnzj/catalog-followup

Follow-ups for recently-added catalogs

Merge pull request #29023 from pelaufer/dhcp-prefix-dbus

Add dhcp client prefix lease information to networkd json output

Merge pull request #29052 from yuwata/icmp6-util-cleanups

icmp6-util: several cleanups and fixlets

catalog/systemd.catalog: rephrase a bunch of messages

Follow-up for #28873

core/crash-handler: correct indentation

sd-messages.h: correct alignment

network: ndisc - Allow to parse PREF64 prefix

network: sd-radv - Allow to configure Mobile IPv6 Home Agent

test: extract dummy icmp6 utils for tests

This extracts common implementation of dummy icmp6 utils used by tests.