sd-dhcp-client: add a short comment about IPv6 only mode

sd-dhcp-client: only send RENEW message when the client is in bound state

Fixes an issue reported at
https://github.com/systemd/systemd/pull/29544#issuecomment-1762742561.

sd-dhcp-client: simplify the condition in sd_dhcp_client_get_lease()

The condition was outdated, e.g. SELECTING state does not have a lease.
See client_handle_offer() and client_enter_requesting().

The condition based on the state may become much complex in the future.
Let's use simpler condition.

dhcp: split dhcp-internal.h into two

dhcp: move DHCP client specific definitions to dhcp-client-internal.h

dhcp: split out dhcp-network.h from dhcp-internal.h

dhcp: move DHCPState to dhcp-client-internal.h

All other definitions in dhcp-protocol.h are common for client and
server. Let's move DHCP client specific definitions.

fuzz: include library headers first

stub: Ignore the boot counter when looking for .extra.d directory

If `foo+3-0.efi` is booted when there are some files in `foo.efi.extra.d`,
those files are ignored. But after the boot is blessed and the system rebooted,
those file are taken into account, and the boot is different from first
boot. This behavior is a bit puzzling.

Instead we now ignore the counter and always look for the extra files in
`foo.efi.extra.d` and always boot the same way.

mkfs-util: set timezone to UTC when copying files into fat partition

mcopy will set the modification time of created directories to the mtime
of the source directories but converts it to the timezone of the host.
This behavior is identical to Windows / DOS:

>  The FAT file system stores time values based on the local time of the computer.

-- https://learn.microsoft.com/en-us/windows/win32/sysinfo/file-times

To achieve reproducible builds, mcopy should be invoked with TZ=UTC.

Co-authored-by: Paul Meyer <49727155+katexochen@users.noreply.github.com>

tpm2: move event tag sd-boot/sd-stub to make measurements with into src/fundamental/

Ultimately we want to be able to recognize these in userspace, hence
make them available in both UEFI mode and userspace.

While we are at it, let's rename the fields a bit, reflecting more what
they measure, not what the metadata is that we store about them.

sort-utils: add generic uint16_t comparison call

format-table: add new table_get_current_column() helper

format-table: add new uint32_t hex field type

Merge pull request #29644 from poettering/json-iovec

add iovec/base64 json helpers and other iovec tweaks

Merge pull request #29630 from DaanDeMeyer/manager-json

Various refactoring in preparation for adding JSON dump to pid 1

Merge pull request #29626 from bluca/auto_soft_reboot

systemctl: automatically softreboot/kexec if set up on reboot

repart: port to new "struct iovec" JSON + primitive helpers

json: add helpers for dispatching/building JSON with base64 struct iovecs

iovec-util: add some useful helpers for dealing with iovecs that refer to dynamic memory

tpm2-util: add line break where appropriate

tpm2-util: add a bunch of line breaks for an overly long bitmask

json: Introduce JSON_BUILD_CALLBACK

json: Introduce JSON_BUILD_STRING_SET

hashmap: Add extra uncounted entry to returned array from hashmap_dump_sorted()

This allows using the returned array as a strv.

manager: Introduce manager_get_progress() helper

unit: Move three helpers to unit.h

timer: Add two more helper functions

swap: Move two functions to swap.h

socket: Add one more helper

mount: Add more helpers

execute: Add more helper functions

core: Add two more to_string() functions

Add unit_type_to_capitalized_string()

Merge pull request #29627 from poettering/io-split

split up io-util.[ch], and some clean-ups

rm-rf: Make sure we rewinddir() before readdir()

We don't know what state the passed in file descriptor is in. Let's
make sure we rewind it before iterating over it.

Fixes #29606

systemctl: automatically softreboot/kexec if set up on reboot

Automatically softreboot if the nextroot has been set up with an OS
tree, or automatically kexec if a kernel has been loaded with kexec
--load.

Add SYSTEMCTL_SKIP_AUTO_KEXEC and SYSTEMCTL_SKIP_AUTO_SOFT_REBOOT to
skip the automated switchover.

credentials: document that their path is stable for system services

mkosi: Use RuntimeTrees= to mount sources

Instead of using ExtraTrees=, let's use the new RuntimeTrees= option
to mount the full repository into the VM/container. Let's also store
the sources under /usr/src/systemd and update the gdbinit file and
vscode HACKING guide section to match the new location.

netif-naming-scheme: disable NAMING_BRIDGE_MULTIFUNCTION_SLOT

This effectively reverts 66425daf2c68793adf24a48a26d58add8662e83f.

The commit assumes that if the network interface has multifunctions,
then the function fields of the pci devices under the same PCI bridge
device are unique.
But it seems not, at least on some setups. See issue #28929.
Let's revert the change, and always refuse to set slot base naming if
a PCI bridge is detected.

Fixes #28929.

Merge pull request #29618 from bonktree/fchmodat2

seccomp: get `fchmodat2(2)` covered by `RestrictSUIDSGID=`

man: document the order in which we talk to DNS servers

io-util: split out iovw_xyz into iovec-wrapper.h

Let's split these APIs out, they are kinda their own thing.

iovec-util: make IOVEC_INCREMENT a regular function too

Even more than with the previous commit, this is not a trivial function
and there's no reason to believe this will actually be inlined nor that
it would be beneficial.

iovec-util: make IOVEC_MAKE_STRING() safer

Let's not accept arbitrary types, but only char* and const char*.

iovec-util: make IOVEC_NULL const

compound initialized structs can be placed im immutable memory if const,
hence there's benefit in making this one const too

iovec-util: make IOVEC_TOTAL_SIZE() a regular function

The function isn't necessarily fast (it's O(n)), and there's no reason
to have it defined as inline function, since it's neither fast, nor
entirely trivial.

io-util: split out "struct iovec" related calls into their own .c/.h files

This is preparation for #28891, which adds a bunch more helpers around
"struct iovec", at which point this really deserves its own .c/.h file.

The idea is that we sooner or later can consider "struct iovec" as an
entirely generic mechanism to reference some binary blob, and is the
go-to type for this purpose whenever we need one.

executor: return instead of assert on invalid command line arguments

Before the split, it made sense to assert, as checks were on setup.
But now these come from deserialization, and the fuzzer hits the
asserts, so simply return an error instead.

man: mention that inhibit blocks soft-reboot too

test-recurse-dir: work around nftw() ignoring symlinks()

We have a test where we compare the results from nftw() and our own
resurce_dit_at(). nftw() skips a dangling symlink when running under mkosi and
the test fails. I don't understand why nftw() does that, but in our code we
don't need to test and care about the details of nftw(), which we don't use,
outside of the one test, so let's just skip symlinks in the test.

Closes #29603.

Merge pull request #29628 from mrc0mmand/systemd-executor-test

test: slightly improve sd-executor's coverage

pidref: make PIDREF_NULL const

That way compiler can put it in an immutable section

Merge pull request #29629 from bluca/mount_tunnel_pidref

mount tunnel: use PidRef

Merge pull request #29623 from YHNdnzj/core-followup

Follow-ups for recent changes to core/

test: skip Protect{Home,System}= tests with coverage builds

With coverage builds we disable Protect{Home,System}= via a service.d
dropin in /etc, which has, unfortunately, higher priority than our
transient systemd-run stuff. Let's just skip the affected tests in that
case instead of making the test setup even more complicated.

pid1,vconsole-setup: lock /dev/console instead of the tty device

As requested in https://github.com/systemd/systemd/pull/27867#pullrequestreview-1567161854.
/dev/console, /dev/tty0, and /dev/ttyN are "different" device nodes
that may point to a single underlying device. We want to use a single
lock so that we don't get a race if different writers are using a different
device path, so let's just always lock around /dev/console.
This effectively makes the locking less granular.

Fixup for a0043bfa51281c2374878e2a98cf2a3ee10fd92c.
Fixes https://github.com/systemd/systemd/issues/28721.
Maybe fixes https://github.com/systemd/systemd/issues/28778 and
https://github.com/systemd/systemd/issues/28634.

test: unify checking for user xattrs support in cgroupfs

Also, run the coredump forwarding test only if user xattrs are
supported.

meson: generate proper version tag when git fails on permission errors

When building with mkosi I would get the following:

    [1/477] Generating version.h with a custom command
    fatal: detected dubious ownership in repository at '/work/src'
    To add an exception for this directory, call:

            git config --global --add safe.directory /work/src

and then the tag would be generated as 'v254-'. This is obviously some problem
with the setup, but we should handle this gracefully. Let's fall back to 'v254'
instead.

In the case where we have a repo but no tags, use --dirty=^ too, as in the case
with tags.

I tested four cases:
- normal checkout
- checkout with .git removed
- checkout with .git chowned to root
- checkout wiht all tags removed

Update TODO

mount tunnel: use PidRef

core: properly cleanup ExecParameter's prefix array

test: add coverage for #29610

As reproducing it is actually pretty easy, with the benefit of hindsight:

~# systemd-run -P -p MountImages="/this/should/definitely/not/exist.img:/run/img2\:3:nosuid" false
Running as unit: run-u42.service
free(): double free detected in tcache 2

test: add a real-world state to the corpus

To give the fuzzer a nice head start.

core/service: check error first and log about errno

Follow-up for becdfcb9f1cb555c50dcfe51894cb0b155f7f01e

cgroup-util: use RET_GATHER more, return first error

core/exec-invoke: use correct exit status

These calls can fail not only due to OOM.

core/namespace: merge if blocks

executor: fix double free of MountOptions

This list is owned by ExecContext, which is cleaned up when sd-executor
fails, but it is also cleaned up when namespace setup exits, so we get
a double free.

Fixes https://github.com/systemd/systemd/issues/29610

Follow-up for bb5232b6a3

Merge pull request #29617 from keszybz/efi-no-xmalloc0

efi: drop duplicate initialization to 0

seccomp: also check the mode parameter of `fchmodat2(2)`

If there is no libseccomp support, just ban the entire syscall instead
so wrappers will fall back to older, supported syscalls.
Also reflect all of this in `test-seccomp.c`.

seccomp: include `fchmodat2` in `@file-system`

cgroup-util: drop dead code block

Follow-up for 4d1b2df199227ed4b934bbcb054364e92e93a1a6.

Fixes CID#1522888.

basic/missing_syscall: generate defs for `fchmodat2(2)`

We will need this to set seccomp filters on this system call regardless
of libseccomp or kernel support.

Update system call tables for Linux 6.6

We are doing this to obtain the definition of fchmodat2.

seccomp: fix debug logging typo

Fixes: da4dc9a67487 ("seccomp: rework how the S[UG]ID filter is installed")

Merge pull request #29595 from YHNdnzj/systemctl-failed-system

systemctl: is-failed: check if system is degraded when no unit given

efi: drop unused xmalloc0()

Keeping this separate to make it easy to revert if it's ever needed again.

efi: do not memzero fields before initializing them

In all three cases we immediately overwrite the whole field anyway,
so the call to memzero is not needed.

varlink: Add new varlink_collect method

varlink_collect is meant to be used when the client is willing to wait for the reply from the varlink method, much like varlink_call.
However, unlike varlink_call, it allows the client to collect all "more" replies that may be sent by method before the "final" reply is enqueued.
It aggregates all of these replies into a json variant array that it returns to the client.

fuzz: unify logging setup

Make sure we don't log anything when running in "fuzzing" mode. Also,
when at it, unify the setup logic into a helper, pretty similar to
the test_setup_logging() one.

Addresses:
  - https://github.com/systemd/systemd/pull/29558#pullrequestreview-1676060607
  - https://github.com/systemd/systemd/pull/29558#discussion_r1358940663

Merge pull request #29611 from mrc0mmand/execute-serialize-fuzz

test: add a fuzzer for exec_{serialize,deserialize}_invocation()

core: don't assert when serializing malformed state

test: add a fuzzer for exec_{serialize,deserialize}_invocation()

systemctl: is-failed: check if system is degraded when no unit given

Closes #3335

systemctl: minor modernization

Merge pull request #29594 from poettering/cgroup-rename-ret-params

more pidfdification

test: use Type=exec for the test unit

Make sure everything we need is set up before continuing further with
the test. This should, hopefully, help with a race where we check
a dynamic user before it's created by NFTSet= stuff.

Before:
$ journalctl -o short-monotonic --grep '(test-nft|NFT|testsuite-75)' --no-hostname
...
[ 3657.929223] testsuite-75.sh[48]: + systemd-run -u test-nft.service -p DynamicUser=yes -p 'NFTSet=cgroup:inet:sd_test:c user:inet:sd_test:u group:inet:sd_test:g' sleep 10000
...
[ 3657.977372] systemd[1]: test-nft.service: Changed dead -> running
[ 3657.977388] systemd[1]: test-nft.service: Job 376 test-nft.service/start finished, result=done
[ 3657.977407] testsuite-75.sh[853]: Running as unit: test-nft.service; invocation ID: 8776af2ec7864a60a058cb5d403d1ca6
[ 3657.982437] testsuite-75.sh[856]:                 elements = { "system.slice/test-nft.service" }
[ 3657.984570] testsuite-75.sh[48]: + grep -qF test-nft.service /tmp/tmp.uqXKfyzcpJ
[ 3657.985400] testsuite-75.sh[859]: ++ getent passwd test-nft
[ 3657.986434] systemd[1]: varlink-12: New incoming message: {"method":"io.systemd.UserDatabase.GetUserRecord","parameters":{"userName":"test-nft","service":"io.systemd.DynamicUser"}}
[ 3657.986503] systemd[1]: varlink-12: Sending message: {"error":"io.systemd.UserDatabase.NoRecordFound","parameters":{}}
[ 3657.986643] systemd[1]: testsuite-75.service: Child 48 belongs to testsuite-75.service.
[ 3657.986660] systemd[1]: testsuite-75.service: Main process exited, code=exited, status=2/INVALIDARGUMENT
[ 3657.986681] systemd[1]: testsuite-75.service: Failed with result 'exit-code'.
...
[ 3657.989885] systemd[1]: test-nft.service: User lookup succeeded: uid=64568 gid=64568
[ 3657.989936] systemd[1]: Added NFT set: family inet, table sd_test, set u, ID 64568
[ 3657.989965] systemd[1]: Added NFT set: family inet, table sd_test, set g, ID 64568

After:
$ journalctl -o short-monotonic --grep '(test-nft|NFT|testsuite-75)' --no-hostname
[ 1523.874408] testsuite-75.sh[49]: + systemd-run -u test-nft.service --service-type=exec -p DynamicUser=yes -p 'NFTSet=cgroup:inet:sd_test:c user:inet:sd_test:u group:inet:sd_test:g' sleep 10000
...
[ 1523.924091] systemd[1]: Starting test-nft.service...
[ 1523.928891] systemd[1]: test-nft.service: User lookup succeeded: uid=64568 gid=64568
[ 1523.929102] systemd[1]: Added NFT set: family inet, table sd_test, set u, ID 64568
[ 1523.929220] systemd[1]: Added NFT set: family inet, table sd_test, set g, ID 64568
...
[ 1523.933263] systemd[1]: Started test-nft.service.
[ 1523.933626] testsuite-75.sh[849]: Running as unit: test-nft.service; invocation ID: d1a5c3eacbc647a7a5fcbd46c7b2f863
[ 1523.940810] testsuite-75.sh[852]:                 elements = { "system.slice/test-nft.service" }
[ 1523.942880] testsuite-75.sh[49]: + grep -qF test-nft.service /tmp/tmp.gWka2x3mQq
[ 1523.944031] testsuite-75.sh[855]: ++ getent passwd test-nft
[ 1523.945496] systemd[1]: varlink-18: New incoming message: {"method":"io.systemd.UserDatabase.GetUserRecord","parameters":{"userName":"test-nft","service":"io.systemd.DynamicUser"}}
[ 1523.951593] systemd[1]: varlink-18: Sending message: {"parameters":{"record":{"userName":"test-nft","uid":64568,"gid":64568,"realName":"Dynamic User",...

manager: move idle_pipe allocation to manager.c and make it atomic

Let's make sure it either fails or suceeds, but never fails half-way
leaving a half-initialized array around.

Merge pull request #29583 from poettering/deserialize-fd-many

add serialize_fd_many() + deserialize_fd_many() helpers

update TODO

test-cgroup: make test case a bit more robust towards previous aborted runs

killall: port killing spree loop over to PidRef

test: port tests over to new /proc/ enumeration API

process-util: add API for enumerating processes in /proc/ and pinning them via PidRef

process-util: add pidref_is_unwaited() and make pid_is_unwaited() return errors

process-util: add pidref_is_my_child()

process-util: change pid_is_alive() to not eat up errors, and add pidref_is_alive()

Let's no eat up errors, but propagate unexpected ones.

process-util: add pidref_get_uid() and rename get_process_uid() → pidref_get_uid()

core: port unit/process kill logic to pidref